Reduced Matrix Multiplication: Input-Adaptive Matrix-Product Reduction for LLM Inference
减少矩阵乘法：面向 LLM 推理的输入自适应矩阵积降维
🧭 LLM 推理加速 · 动态矩阵乘剪枝 ★ 深度解读
University of Chicago · Stony Brook University · Independent Researcher
提出训练无关、输入自适应的 RMM，通过激活 L2 范数 TopK 收缩乘轴，以可预测方式加速 LLM 推理
📌 工作参考价值（4 点）
- 在线服务 LLM 推荐/Agent 时，可优先对 attention 内部 QK^T / PV 做按输入 L2 范数的 TopK 降维，RR 0.8 左右通常几乎无损；MLP 保持保守，避免模型崩溃。
- 用 retention ratio 作为统一算力档位，线上可按 QPS/延迟动态调节，获得平滑可控的精度-效率折中，适合流量峰谷调度。
- 实现时用 Triton 融合 norm+TopK+gather+GEMM，避免选择开销抵消收益；长序列（>2048）下加速更明显，更适合长用户行为摘要/推荐解释生成。
- 动态 per-token 维度选择比静态子空间更稳；工程上可在 prefill 后固定或定期刷新，减少逐 token TopK 开销。